午夜视频在线在免费_国产成人免费视频_国产成人综合久久久久久_国产精品无码av天天爽_国产欧美日韩亚洲精品区

網(wǎng)站建設(shè)初始技術(shù)即網(wǎng)站在建立階段，就必須全盤綜合考慮的技術(shù)細(xì)節(jié)，因?yàn)楹罄m(xù)在網(wǎng)站運(yùn)營(yíng)過(guò)程中再進(jìn)行調(diào)整，會(huì)牽涉太多方面，甚至無(wú)法執(zhí)行。

1.網(wǎng)站站點(diǎn)地圖(Sitemap)的設(shè)置和技術(shù)細(xì)節(jié)

Sitemap是一種通知機(jī)制，就是通過(guò)創(chuàng)建一個(gè)文件的方式，把網(wǎng)站網(wǎng)頁(yè)的URL提交給搜索引擎，在Sitemap中定義好頁(yè)面的URL地址、權(quán)重、更新頻率等。通過(guò)把Sitemap提交給搜索引擎，搜索引擎爬蟲沿著Sitemap里面的鏈接地址進(jìn)行爬行，這就是Sitemap的機(jī)制。

普通Sitemap文件的建立如下。通過(guò)XML的方式創(chuàng)建Sitemap，這是最常見(jiàn)也是最簡(jiǎn)單的一種方式。

網(wǎng)址

2015.01.03T04:20.08:00

always

1.O

網(wǎng)址

2015.01.02T20:20:36Z

daily

O.8

1.百度Sitemap

網(wǎng)頁(yè)地址

2015-01-01

dafly

1.0

2.重要字段含義

?changefreq：指定提交的URL對(duì)應(yīng)頁(yè)面內(nèi)容的更新頻率，例如，daily、weeIdb，、monthly、yearly。這個(gè)參數(shù)用于設(shè)置搜索引擎頁(yè)面變動(dòng)的頻率，即考量是否需要蜘蛛經(jīng)常爬行并更新網(wǎng)頁(yè)的內(nèi)容。

?lastmod：當(dāng)前頁(yè)面內(nèi)容最后的修改時(shí)間，這個(gè)參數(shù)可以給搜索引擎一個(gè)參考，就是時(shí)效性的參考，某些內(nèi)容，特別是咨詢類的，搜索引擎會(huì)將內(nèi)容的更新時(shí)間作為排序的一個(gè)因子。

?priority：定義頁(yè)面的權(quán)重，權(quán)重越高，相對(duì)于其他頁(yè)面，當(dāng)前頁(yè)面的優(yōu)先級(jí)越高。

?：用描述具體的鏈接地址，這里需要注意的是鏈接地址中的一些特殊字符必須轉(zhuǎn)換為XML(HTML)定義的轉(zhuǎn)義字符，簡(jiǎn)化版的

Sitemap也可以采用記事本方式，就是直接打開(kāi)一個(gè)記事本，然后把URL填入，每個(gè)URL一行，然后直接提交搜索引擎，也能實(shí)現(xiàn)同樣的目的。

3.超級(jí)門戶的Sitemap模式

搜索引擎并不限定每個(gè)網(wǎng)站提交的Sitemap文件的個(gè)數(shù)，因此，如果網(wǎng)頁(yè)

URL條目比較多，可以對(duì)新增的頁(yè)面進(jìn)行差額提交。

在創(chuàng)建多個(gè)Sitemap文件時(shí)，可以通過(guò)一個(gè)父Sitemap文件鏈接多個(gè)子

Sitemap文件，子Sitemap文件通過(guò)填充實(shí)際URL條目的模式完成，這樣可以確保

每個(gè)Sitemap文件的URL條目不會(huì)特別多，建議一個(gè)Sitemap文件的URL條目不

要超過(guò)1000個(gè)。

下面是一個(gè)例子。

http://www.abc.com/sitemap1.xml.gz

http://www.abc.com/sitemap2.xml.gz

Sitemapl：

URLl

2015-01-01

daily

1.0

URL2

20 1 5..0 1.，0 1

daily

1.0

URL3

2015.01.01

dafly

1.0

URL4

20 l 5―0 1.0 1

daily

1.0

提交Sitemap的方式有多種，通常的做法是創(chuàng)建百度或者其他搜索引擎的站長(zhǎng)賬戶，然后在站長(zhǎng)后臺(tái)把Sitemap的uRL提交上去，在站長(zhǎng)后臺(tái)可以看到每個(gè)Sitemap的處理進(jìn)度和收錄的數(shù)據(jù)。

2.Robots文件設(shè)置和技術(shù)細(xì)節(jié)

Robots.txt文件放在網(wǎng)站的根目錄下，主要用于通知蜘蛛在該網(wǎng)站上的抓取范圍，SEO可以在這個(gè)文件中聲明該網(wǎng)站中不想被搜索引擎收錄的部分，或者指定搜索引擎只收錄特定的部分。

(1).經(jīng)常使用到Robots.txt文件的情況

?網(wǎng)站升級(jí)，老版本網(wǎng)站的很多頁(yè)面在新版本網(wǎng)站中去掉了，在這種情況下，可以通過(guò)Robots文件告訴蜘蛛不再抓取這些已經(jīng)被去掉的頁(yè)面。

?網(wǎng)站存在很多重復(fù)的內(nèi)容，比如一個(gè)網(wǎng)站同時(shí)存在動(dòng)態(tài)頁(yè)面和已經(jīng)經(jīng)過(guò)靜態(tài)化處理的頁(yè)面，這些頁(yè)面在內(nèi)容上都是完全重復(fù)的內(nèi)容，為了解決重復(fù)的問(wèn)題，可以在Robots文件中禁止蜘蛛抓取動(dòng)態(tài)頁(yè)面。

?網(wǎng)站內(nèi)部有些內(nèi)容不便于公開(kāi)發(fā)布，但是需要允許內(nèi)部查閱。遇到這種情況，可以在Robots中告訴蜘蛛不要抓取。

(2).Robots文件的基本寫法

User-agent：

Allow：/cgi.bin/see

Allow：/tmp/hi

Allow：/~joe/look

Disallow：/cgi.bin/

Disallow：/t.mp/

Disallow：|00e|

Allow是允許蜘蛛爬行的頁(yè)面，而Disallow后面則是不允許蜘蛛訪問(wèn)的路徑和文件。

3.Robots的使用示例

(1)僅允許訪問(wèn)某目錄下某個(gè)后綴的文件。

這里僅允許訪問(wèn)帶“$”符號(hào)的網(wǎng)址，如下。

User―agent：*

Allow：.asp$

Disallow：/

(2)禁止索引網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面。

這里是限制訪問(wèn)帶“?”的網(wǎng)址，例如，index.asp?id=1。

User―agent：*

DisallOW：/*?*

(3)使用“*”，限制訪問(wèn)帶某個(gè)后綴的域名。

這里是禁止訪問(wèn)admin目錄下所有htm文件，如下。

User―agent：*

DisaUow：/admin/*.htm

本文由領(lǐng)創(chuàng)網(wǎng)絡(luò)菏澤網(wǎng)站建設(shè)https://www.lingchuangweb.com/ 原創(chuàng)文字，版權(quán)所有，轉(zhuǎn)載請(qǐng)注明出處，并保留本鏈接，謝謝!